Burchett и др. - 2024 - Развитие интерактивных карт доказательств: Визуализация вариантов организации услуг наряду с исследованиями

Развитие интерактивных карт доказательств: Визуализация вариантов организации услуг наряду с исследованиями

¹Факультет политики общественного здравоохранения, Лондонская школа гигиены и тропической медицины, Лондон, Великобритания
²Центр EPPI, Институт социальных исследований UCL, Университетский колледж Лондона, Лондон, Великобритания
³Школа общественного здравоохранения, Университетский колледж Корка, Корк, Ирландия
⁴Центра обзоров и распространения информации, Йоркский университет, Йорк, Великобритания

Аннотация

Обоснование: Интерактивные карты доказательств обычно визуализируют характеристики исследовательских данных и пробелы в доказательствах в конкретной области.

Цели, материалы и методы: Здесь мы представляем пример карты доказательств по цифровым вмешательствам в области употребления наркотиков и алкоголя, в которую исследовательские данные дополнены информацией о вмешательствах, используемых (или доступных для использования) в Англии. Мы использовали методы систематического обзора для выявления систематических обзоров эффективности вмешательств и онлайн-опрос для выявления вмешательств в Англии.

Результаты: В онлайн-карту было включено 18 обзоров и 40 вмешательств.

Обсуждение и выводы: Насколько нам известно, это первая карта, которая сопоставляет исследования и практику таким образом. Расширяя карты доказательств за счёт включения данных о предоставлении услуг, становится легче увидеть, согласованы ли исследования и практика, и где существуют пробелы либо в доказательствах, либо в практике (или в обоих).

КЛЮЧЕВЫЕ СЛОВА
карта доказательств, синтез доказательств, карта пробелов

1 | ОБОСНОВАНИЕ

Учитывая рост числа исследовательских публикаций в последние десятилетия, в настоящее время признано, что выявление исследований более чем случайным образом требует времени и специальных навыков поиска, а также доступа к материалам, которые могут быть скрыты за платным доступом журналов [1–3]. Поэтому понятно, что лицам, принимающим решения, и другим пользователям доказательств часто трудно определить, какие исследования существуют и где остаются пробелы.

Карты доказательств визуально представляют исследовательские данные в определенной области или теме [1]. Хотя они основаны на систематических методах, они обычно имеют более широкий охват, чем систематические обзоры, поскольку их цель — представить все доступные исследования в данной области, а не синтезировать результаты исследований для ответа на конкретный, часто более узкий вопрос. Такие визуальные представления доступных исследований были признаны важными и желательными теми, кто участвует в принятии решений на основе доказательств [4].

Однако для информирования принятия решений в конкретных контекстах необходимо не только быть знакомым с исследовательскими данными, но и знать, что было реализовано на практике, и понимать, как они соотносятся.

Здесь мы представляем тематическое исследование о том, как мы создали карту доказательств для Public Health England (PHE), представляющую доказательства эффективности цифровых вмешательств в области наркотиков и алкоголя на уровне обзоров вместе с описаниями вмешательств, которые использовались в английском контексте. Более подробную информацию о методах и результатах можно найти в полном отчете по проекту [5].

2 | МЕТОДЫ

2.1 | Выявление доказательств эффективности

Для выявления доказательств эффективности вмешательств мы провели систематический поиск в 29 библиографических базах данных и реестрах. После удаления дубликатов названия и аннотации были проверены по предварительно установленным критериям включения с использованием подхода приоритетного скрининга в EPPI-Reviewer [6]. Более подробная информация о процессе приоритетного скрининга приведена в полном отчете, но, вкратце, он использует машинное обучение на основе текстового анализа для определения приоритета наиболее вероятно релевантных ссылок. Это означает, что те, которые с наибольшей вероятностью будут включены, сначала проверяются вручную, что ускоряет процесс скрининга [7]. Ручной скрининг был остановлен после определения соответствующей точки отсечения, когда мы сочли, что выявили все или почти все релевантные ссылки. Полные тексты систематических обзоров были получены и проверены на соответствие критериям включения.

Включенные систематические обзоры были оценены на качество с использованием AMSTAR 2 [8] и закодированы в соответствии с предопределенными характеристиками, включая направленность вмешательств (например, профилактика и раннее вмешательство, лечение и восстановление или поддержание восстановления) и используемые компоненты вмешательств. Также были извлечены сводные данные об эффективности из мета-анализов (но не из нарративных синтезов).

2.2 | Выявление вмешательств в Англии

Мы провели онлайн-опрос среди лиц, участвующих в разработке, организации, назначении, рекомендации или оценке цифровых вмешательств для употребления алкоголя или наркотиков. Мы попросили участников определить и предоставить информацию о цифровых вмешательствах, которые либо использовались, либо потенциально были доступны для использования в Англии. Мы широко распространили ссылку на онлайн-опрос, а также выявили известные вмешательства из личного общения с PHE, членами консультативной группы и разработчиками вмешательств. После того как мы выявили вмешательства с помощью опроса и личного общения, мы создали структурированное краткое описание для каждого вмешательства. Информация для этих описаний была взята не только из ответов на опрос; мы также изучили сами вмешательства (т.е. приложение или веб-сайт) и их публично доступные описания, где это было возможно. Как и в случае с включенными систематическими обзорами, вмешательства были закодированы в зависимости от того, были ли они направлены на профилактику, лечение или восстановление, и какие компоненты вмешательства они использовали. Описания и коды были проверены на точность с разработчиками вмешательств.

2.3 | Создание интерактивных визуальных карт

Кодирование и описательные сводки управлялись в EPPI-Reviewer [9], а затем визуальная карта была создана с помощью программного обеспечения EPPI-Mapper (v1.2.0) [10]. Поскольку внешний вид и функциональность карты являются основополагающими для ее привлекательности и использования, они разрабатывались итеративно с учетом отзывов заинтересованных сторон. Организующая структура была разработана с использованием выбранных кодов: направленность и компоненты вмешательства составили ось X, а то, нацелено ли вмешательство на алкоголь, наркотики или оба, сформировало ось Y. Лаконичные заголовки помогают сделать карту понятной в использовании, они включают глоссарий и раздел, объясняющий, как пользоваться картой. Более подробная информация о разработке карт доступна в нашем блоге [11]. Техническую поддержку оказала команда поддержки EPPI-Reviewer.

3 | РЕЗУЛЬТАТЫ

Рисунок 1 — Карта доказательств систематических обзоров и вмешательств, доступных в Англии.

Пятьдесят девять человек ответили на опрос, в результате было включено 23 уникальных вмешательства (поскольку некоторые были указаны более чем одним человеком, а другие были исключены как не соответствующие теме). Еще 17 вмешательств были выявлены через личное общение, в результате чего в карту было включено в общей сложности 40 вмешательств (см. Рисунок 1).

Карта доступна онлайн и предлагает различные варианты изучения данных и фокусировки на деталях. Её можно просматривать, искать с помощью свободного текста или фильтровать, используя заголовок "фильтры" или просто нажимая на интересующую строку, столбец или ячейку (например, "обратная связь/отслеживание/цели" и "вмешательства только для алкоголя"), чтобы вывести список вмешательств с этими кодами. Затем появляется список обзоров или вмешательств в подмножестве с подробностями по каждому обзору или вмешательству, которые можно прочитать по очереди (см. Рисунок 2). Независимо от того, как осуществляется поиск по карте, или при нажатии на заголовок "читатель" (чтобы показать все записи), пользователи могут прочитать подробные описания каждого вмешательства или систематического обзора. В сопроводительном отчете содержатся дополнительные детали и интерпретация, которых нет на карте [5].

Карта показывает, что большинство вмешательств и систематических обзоров были сосредоточены на алкоголе, а не на наркотиках, и на профилактике и раннем вмешательстве, а не на лечении или восстановлении. Были выявлены несколько стратегий вмешательства, для которых не было высококачественных систематических обзоров (например, предотвращение рецидивов, поддержка равных). На карте также показаны стратегии вмешательства, для которых не было ни доступных вмешательств, ни высококачественных систематических обзоров (например, скрининг и краткие вмешательства для наркотиков или наркотиков и алкоголя).

Рисунок 2 — Пример фильтрации записей для отображения списка вмешательств "обратная связь/отслеживание/цели" для "вмешательств только для алкоголя", с выделением деталей для одного вмешательства.

4 | ОБСУЖДЕНИЕ

Интерактивные карты доказательств визуально представляют данные, позволяя пользователю с первого взгляда увидеть, какие исследования существуют или отсутствуют по широкой теме, а также более детально изучить конкретные области. Насколько нам известно, наша карта доступных вмешательств в области наркотиков и алкоголя и систематических обзоров эффективности вмешательств является первой, которая совмещает как исследования, так и практику на одной карте.

Преимущества этого подхода многочисленны:

Они предоставляют обзор с первого взгляда не только исследовательских данных для различных типов вмешательств, но и того, какие вмешательства в настоящее время используются или доступны.
Пользователи могут оценить, основаны ли доступные вмешательства на строгих исследовательских данных.
Пользователи могут легко выявлять пробелы в доказательной базе и в текущем (или доступном) предоставлении услуг.
Сочетая международные исследования с национальным предоставлением услуг или вариантами их организации, карта предоставляет возможность изучить степень соответствия исследований из других стран контексту национального предоставления услуг.

Очевидным ограничением является значительное количество времени и финансирования, необходимых для создания карт с такой степенью детализации.

Карты доказательств можно использовать для определения областей, на которые было обращено внимание в широкой области. Например, на нашей карте мы выявили больше вмешательств и доказательств, связанных с профилактикой, чем с лечением или восстановлением, и больше по алкоголю, чем по наркотикам. Это может помочь организаторам исследований и услуг, а также тем, кто выступает за увеличение ресурсов или поддержки для neglected areas.

Такие карты предоставляют моментальный снимок исследований и предоставления услуг; например, наша карта предоставляет "базовый уровень" до COVID для цифровых исследований в области наркотиков и алкоголя и организации соответствующих услуг. Последующая карта могла бы использовать это для сравнения того, в какой степени были достигнуты developments в этой области, однако также есть аргументы в пользу создания "живых" карт, которые постоянно или часто обновляются. Хотя живые карты имеют очевидные преимущества, они также требуют значительных ресурсов, что может повлиять на уровень детализации, предоставляемой на карте, и степень автоматизации процессов [12, 13].

Теперь, когда порог того, что может быть включено в карты доказательств, расширен, другие аспекты можно рассматривать в будущих картах. Например, потребности являются очевидным следующим шагом для включения, поскольку это позволит оценить, в какой степени существующие исследования и практика соответствуют выявленным потребностям пользователей или других заинтересованных сторон (хотя такое сочетание ранее включалось в систематические обзоры, мы не знаем о том, чтобы это делалось в рамках карты доказательств) [14, 15]. Также могут быть включены определенные приоритеты исследований, такие как разработанные James Lind Alliance (JLA) [16]. И наоборот, мы считаем, что такие карты доказательств, как представленная здесь, могут облегчить процесс выработки консенсуса по приоритетам исследований.

5 | ЗАКЛЮЧЕНИЕ

Насколько нам известно, это первый пример расширения сферы охвата и потенциальной полезности карт доказательств за счет объединения исследований и практики. Преимущества сопоставления исследовательских данных об эффективности с информацией о текущих доступных вмешательствах (в конкретном контексте) очевидны. Мы надеемся увидеть, как будущие интерактивные карты доказательств раздвинут границы еще дальше.

ВКЛАД АВТОРОВ

Helen Burchett: Концептуализация; руководство; исследование; написание — первоначальный вариант; рецензирование и редактирование. Claire Stansfield: Концептуализация; исследование; визуализация; написание — первоначальный вариант; рецензирование и редактирование. Wendy Macdowall: Исследование; написание — рецензирование и редактирование. Michelle Richardson: Исследование; написание — рецензирование и редактирование. Samantha Dick: Исследование; написание — рецензирование и редактирование. Kelly Dickson: Исследование; написание — рецензирование и редактирование. Preethy D'Souza: Исследование; написание — рецензирование и редактирование. Claire Khouja: Исследование; написание — рецензирование и редактирование. Irene Kwan: Исследование; написание — рецензирование и редактирование. Gary Raine: Исследование; написание — рецензирование и редактирование. Amanda Sowden: Привлечение финансирования; написание — рецензирование и редактирование. Katy Sutcliffe: Концептуализация; руководство; привлечение финансирования; исследование; написание — рецензирование и редактирование. James Thomas: Привлечение финансирования; написание — рецензирование и редактирование.

БЛАГОДАРНОСТИ

Авторы хотели бы поблагодарить всех членов консультативной группы и команду Public Health England, которые помогли направлять это исследование. Мы также благодарим коллег из Центра EPPI, которые внесли вклад либо на ранних этапах этого исследования: д-ра Джинни Брантон, д-ра Патрика О'Дрисколла и д-ра Элисон О'Мара-Ивз, либо в разработку онлайн-карт: Серджио Грациози. Этот отчет представляет собой независимое исследование, заказанное Национальным институтом исследований в области здравоохранения (NIHR) в рамках Программы политических исследований (PRP) для Министерства здравоохранения и социального обеспечения (DHSC). Оно финансировалось через контракт NIHR PRP с Центром EPPI в UCL (Возможности проведения обзоров для поддержки разработки и реализации национальной политики, NIHR200701). Мнения, выраженные в этой публикации, принадлежат автору (авторам) и не обязательно отражают точку зрения NHS, NIHR или DHSC.

ЗАЯВЛЕНИЕ О КОНФЛИКТЕ ИНТЕРЕСОВ

Конфликт интересов не заявлен. Саманта Дик является сотрудником Eli Lilly с июля 2021 года. Саманта выполнила эту работу независимо и до своего трудоустройства в Eli Lilly. Данная работа никак не связана с Eli Lilly.

ЗАЯВЛЕНИЕ О ДОСТУПНОСТИ ДАННЫХ

Данные, подтверждающие выводы этого исследования, доступны по запросу у соответствующего автора.

ЭТИЧЕСКОЕ ЗАЯВЛЕНИЕ

Этическое одобрение было получено от LSHTM.

ORCID

ЛИТЕРАТУРА

Snilstveit B, Vojtkova M, Bhavsar A, Stevenson J, Gaarder M. Evidence & Gap Maps: a tool for promoting evidence informed policy and strategic research agendas. J Clin Epidemiol. 2016;79:120-129.
Bastian H, Glasziou P, Chalmers I. Seventy-five trials and eleven systematic reviews a day: how will we ever keep up. PLoS Med. 2010;7(9):e1000326.

Higgins JPT, Thomas J, Chandler J, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.4 [Internet]. Cochrane; 2023. www.training.cochrane.org/handbook
Nyanchoka L, Tudur-Smith C, Porcher R, Hren D. Key stakeholders' perspectives and experiences with defining, identifying and displaying gaps in health research: a qualitative study. BMJ Open. 2020;10(11):e039932.
Burchett H, Stansfield C, Macdowall W, et al. Digital Interventions in Alcohol and Drug Prevention, Treatment and Recovery: Systematic Maps of International Research and Interventions Available in England [Internet]. EPPI-Centre, Social Science Research Unit, UCL Social Research Institute, University College London; 2022.
O'Mara-Eves A, Thomas J, McNaught J, Miwa M, Ananiadou S. Using text mining for study identification in systematic reviews: a systematic review of current approaches. Syst Rev. 2015;4(1):5.
Shemilt I, Simon A, Hollands CJ, et al. Pinpointing needles in giant haystacks: use of text mining to reduce impractical screening workload in extremely large scoping reviews. Res Synth Methods. 2014;5(1):31-49.
Shea BJ, Reeves BC, Wells G, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:j4008.
Thomas J, Graziosi S, Brunton J, O'Driscoll P, Bond M. EPPI-Reviewer: Advanced Software for Systematic Reviews, Maps and Evidence Synthesis. 2020. UCL Social Research Institute.
Thomas J. EPPI-Reviewer: past, present and future [Internet]. EPPI-Centre Blog; 2018. http://eppi.ioe.ac.uk/cms/Default.aspx?tabid=3097
Stansfield C, Burchett H. How to Design Interactive Evidence Maps: A Case Study From Two Maps [Internet]. EPPI-Centre Blog; 2024. https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=3681
Elliott JH, Synnot A, Turner T, et al. Living systematic review: 1. Introduction—the why, what, when, and how. J Clin Epidemiol. 2017;91:23-30.
Thomas J, Askie LM, Berlin JA, et al. Cochrane handbook for systematic reviews of interventions version 64 [Internet]. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA, eds. Chapter 22: Prospective Approaches to Accumulating Evidence; 2023. www.training.cochrane.org/handbook
Lorenc T, Rodgers M, Marshall D, et al. Support for adults with autism spectrum disorder without intellectual impairment: systematic review. Autism. 2018;22(6):654-668.
Rees R, Kavanagh J, Burchett H, et al. HIV Health Promotion and Men Who Have Sex with Men (MSM): A Systematic Review of Research Relevant to the Development and Implementation of Effective and Appropriate Interventions [Internet]. EPPI-Centre, Social Science Research Unit, Institute of Education, University of London; 2004. https://eppi.ioe.ac.uk/cms/Portals/O/PDF%20reviews%20and%20summaries/MSM_HIV_2004.pdf
Partridge N, Scadding J. The James Lind Alliance: patients and clinicians should jointly identify their priorities for clinical trials. The Lancet. 2004;364(9449):1923-1924.